dqn是offpolicy

强化学习笔记(二):DQN与DDQN -
然而，DQN与Q Learning都存在将次优结果误判为最优的问题。为解决这个问题，DQN引入了策略选择与评估的分离，增强了多行为选择下的稳定性。DDQN在此基础上更进一步，它扩展了DQ Learning，引入了off-policy策略的影响，强化了目标网络的更新规则。每一步改进都旨在提升学习的准确性和效率。如果你对这些理论到此结束了？。
Sarsa则通过时间差分TD方法更新状态值，行为策略和目标策略保持一致，是on-policy算法。Q-learning进一步扩展了这一思想，允许使用off-policy策略，通过目标网络稳定训练过程，即使行为策略改变，也能利用过去的经验。在实际应用中，神经网络被用于处理连续状态空间，如DQN，它结合了Q-learning和神经网络，解决了后面会介绍。